#memory retrieval

3 篇

The Price of Scale in Proactive Memory Recall

主动记忆召回中的规模代价：误报随记忆库增大的幂律恶化与控制

🧭 Agent 长期记忆主动召回 ★ 深度解读

Zhejiang Sci-Tech University

证明主动召回门控的误报率随存储规模幂律上升，提出免标签 conformal 门控并验证其控制误报

📌 工作参考价值（4 点）

做主动 push/选品/召回时不要用固定相似度阈值：先对每个用户/上下文做 per-cue z-score 标准化，再让阈值随候选池 N 增长；embedding 分数用 √(2 ln N) 量级，词法 tf-idf 用 ln N 更快，否则 N 从几十到几千误报会从 5% 飙到 80%+。
无标签门控可直接落地：用用户历史 session/消息作为 reference，对当前候选打分，计算 conformal p-value（rank = (1 + #{ref ≥ current})/(K+1)），设定 α=0.05 即有有限样本 FPR 保证；适合 push 文案/商品/消息的发送决策，无需标注是否打扰。
两阶段 LLM judge 值得用：先用向量/词法召回 top-5 候选，再让 LLM 读候选判断是否打扰/相关；在 N=2048 时 14B judge 达到 28% hit@4% FA，优于纯相似度 gate，但延迟和成本更高，且要确保召回覆盖（top5 含 evidence 仅 36%-65%）。
容量受表示分离度限制，投入 embedding 质量/多模态上下文比堆更多记忆更划算：binormal 模型下容量随分离度平方指数增长；当候选池极大且 score 分布重叠大时，可控误报下的命中率会掉到个位数。

Agent | 2026-10-25 | cs.IR | score 8/10

超越最终 Embedding：从 Token 级证据中检索记忆

🧭 RAG 记忆检索 · token 级匹配 ★ 深度解读

Southeast University · MemoraX AI · Leiden University · University of Sydney

冻结 embedding 的 token 级稀疏匹配融合整句相似度，无需训练提升记忆检索

📌 工作参考价值（4 点）

可复用现有 embedding 模型已经算好的 token hidden states：给商品/内容/会话记忆建 token 级 HNSW 索引，query token 检索后按 source memory ID 聚合，再与整向量相似度做 query-wise 标准化融合。无需训练 encoder 或重建文档索引，适合快速在现有召回链路上加一层局部证据信号。
工程实现上，保留 token 到 memory/item 的 ID 映射，聚合时用检索到的最后一个 token 的 clipped similarity 作为缺失分 floor，能显著减少 HNSW 漏召回的影响；k=64、α=0.5 在多个 backbone 上稳定，可直接作为默认参数。
可选的 LoRA query adapter 只训练 query token states，保持 item/memory 侧索引完全不变，对商品库频繁更新、多租户场景很友好；上线只需替换轻量 query 头。
存储与延迟权衡：token 索引不压缩会大很多，但 SQ4 可压缩 81–85%，质量几乎不降；大规模商品/内容索引可优先上 SQ4，进一步降本可试 RP128+SQ4，但质量损失更明显。

RAG | 2026-10-09 | cs.IR | score 8/10

NEAR：面向记忆检索的邻域感知残差框架

🧭 记忆检索 · 邻域残差投影 ★ 深度解读

Southeast University · MemoraX AI · Leiden University · University of Sydney

训练无关地用邻居方向构造投影残差，把共享主题带来的干扰记录转为匹配信号，单次 ANN 检索提升记忆召回。

📌 工作参考价值（4 点）

可把“同品牌/同店铺/同话题商品的向量相似但证据不相关”问题转化为局部参考：离线对每个 item/memory 用 top-k 邻居均值方向做投影残差，抑制类目/品牌共性，放大差异；适合商品召回、内容去同质化。
training-free + 固定索引：残差和原向量拼接成静态 key，线上只做一次内积 ANN（如 HNSW），不用改 encoder 或做多路召回，便于接入现有 embedding 库。
query 侧参考由 16 个 anchor 的 spherical K-means + softmax 路由生成，避免在线先检索邻居，工程轻量；可迁移到 query embedding 的在线局部校准。
存储/延迟可控：NEAR 未压缩是 Base 2x 存储、约 2.39x 延迟；用 SQ4 可压到 Base FP32 的 0.36x，Recall 几乎不变。适合大规模 item/memory 索引，结合业务接受度调节 residual weight/depth。

RAG | 2026-10-09 | cs.IR | score 8/10